컴퓨팅은 기존의 지연 최적화 CPU 설계에서 처리량 중심 GPU 아키텍처로 근본적인 변화를 겪었습니다. CPU는 하나의 작업에 대해 빠른 고속 배달 오토바이(빠른 한 개 패키지 처리)와 비슷하지만, GPU는 느린 속도로 하나씩 이동하지만 동시에 5만 개의 컨테이너를 실을 수 있는 거대한 화물선입니다.

1. 지연 시간과 처리량

CPU는 복잡한 분기 예측 기술을 사용하여 단일 명령 시퀀스의 완료까지 걸리는 시간을 최소화하도록 설계되었습니다. 반면, 그래픽 처리 장치(GPU) GPU는 수천 개의 스레드를 병렬로 실행함으로써 초당 처리량을 극대화하도록 설계되었으며, 단일 스레드의 속도를 희생하여 대규모의 총 처리량을 달성합니다.

2. 트랜지스터 할당

유사한 가격 및 전력 소비 범위 내에서, GPU는 CPU보다 훨씬 높은 명령 처리량과 메모리 대역폭을 제공합니다. GPU는 매우 병렬 처리에 특화되어 있으며, 더 많은 트랜지스터를 데이터 처리 유닛(연산장치, ALU)에 할당하는 반면, CPU는 데이터 캐싱과 흐름 제어에 더 많은 트랜지스터를 사용합니다.

3. CUDA의 진화

통합 장치 컴퓨팅 아키텍처 (CUDA) NVIDIA가 2006년에 도입했습니다. 이는 그래픽 API에 의존하지 않고 GPU의 성능을 활용하여 성능을 급격히 향상시키는 병렬 컴퓨팅 플랫폼 및 프로그래밍 모델입니다.